Problématique

• Avis ironiques :

• Un avis mélangé : Le poste [à l’entreprise] était horrible et la direction n’est pas capable de reconnaître les réalisations, mais une bonne opportunité de travailler avec mes collègues m’a incité à y aller tous les jours.

Plan général du code

Plan général de scraping

• 16768 avis sur les entreprises situées en France qui recrutent des data scientists

Scraping ciblé des pages : I) configuration de la recherche II) changement des pages avec selenium III) un exemple de témoignages d’un employé

Construction de base de donées

• Construire un dataframe a partir du fichier json de résultats scrapés

df = df.drop(['level_0', 'level_1'], axis=1)
df = df[0].apply(pd.Series)
...
df['Date'] = [','.join(map(str, l)) for l in df[2]]
df['Date'] = df['Date'].str.split('-', n = 1, expand = True)[0
to_replace = [' ','sept.','août', 'juil.', 'mai', "avr.", ..."]
replace_with = ['','sep','aug','jul', 'may' ,"apr", ...]
df['Date'] = df['Date'].replace(to_replace, replace_with, regex=True)
df = df.dropna(axis=0, how="any", thresh=None, subset=None, inplace=False)
df['Date'] = pd.to_datetime(df['Date'],format='%d%b%Y')

Nuages de mots

Nuage des mots des avis avant 2016 : positives (vert) et négatives (rouge)

Nuage des mots des avis après 2016 : positives (vert) et négatives (rouge)

Classification de Naive Bayes

Classification de Naive Bayes

Classification de Naive Bayes

Classification de Naive Bayes

Classification de Naive Bayes

Classification de Naive Bayes

Module :

from sklearn.naive_bayes import MultinomialNB

Distribution de Dirichlet

1. Non-Negative Matrix Factorization (NMF)
2. Latent Semantic Analysis or Latent Semantic Indexing (LSA or LSI)
3. Latent Dirichlet Allocation

Latent Dirichlet Allocation :

\[ P(W,Z,\theta ,\varphi; \color{red}\alpha,\color{red}\beta) = \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \\ \Pi_{j=1}^{M}P(\theta_j;\color{red}\alpha)\ \Pi_{j=1}^{K}P(\varphi_i;\color{red}{\beta}) \ \Pi_{t=1}^{N}P(Z_{j,t}|\theta_j)P(W_{j,t}|\varphi_{Z_{j,t}})\]

• \(\alpha\) & \(\beta\) — la distribution Dirichlet
• \(\theta\) & \(\varphi\) — la distribution multinomiale
• \(Z\) — un ensemble de sujets
• \(W\) — un ensemble de mots

Distribution de Dirichlet

Latent Dirichlet Allocation

Latent Dirichlet Allocation

Latent Dirichlet Allocation

import gensim
import gensim.corpora as corpora
from gensim.utils import simple_preprocess
from gensim.models import CoherenceModel
# spacy pour lemmatization
import spacy
# Plotting tools
import pyLDAvis
import pyLDAvis.gensim_models as gensimvis
import matplotlib.pyplot as plt

Hyperparmeter Tuning

• Module : gensim.models.LdaMulticore
• Nombre de sujet \(K\)
• Hyperparamètre Dirichlet \(\alpha\) : Densité de Document-Topic
• Hyperparamètre Dirichlet \(\beta\): Densité de mot-Topic

Visualisation de LDA (pyLDAvis)

Conclusion

• Efficacité de Selénium : Glassdoor a une API disponible, mais pas pour le contenu qu’on recherche

• On a construit un modèle LDA à l’aide de Gensim et optimisé les hyperparamètres LDA.

• Comparaison de l’utilité des deux méthodes NLP : LDA (non-supervisé) et Naive Bayes (supervisé)

• Inéfficacité de LDA pour les textes courts (tweets ou des commentaires) - un meilleur choix : *Biterm Topic Model